1 线性模型的概念

有时候两个随机变量存在很明显的线性关系, 因此我们需要专门研究线性模型.

一般我们可以把 ${\displaystyle f_j(x_1,\cdots ,x_m)}$ 记为 ${\displaystyle {\tilde{x}}_j}$, 则 $$\sum _{j=1}^p{f}_j(x_1,\cdots ,x_m){\beta }_j=\sum _{j=1}^p{\tilde{x}}_j{\beta }_j.$$ 不失一般性, 记线性模型为 $$\begin{array}{}\text{(1.1)}& Y=\sum _{j=1}^p{x}_j{\beta }_j+\epsilon ,\mathbb{E}(\epsilon )=0.\end{array}$$
此时 ${\displaystyle \mathbb{E}Y=\sum _{j=1}^p{x}_j{\beta }_j}$. ^[1]

在上面的定义里我们只取了前 ${\displaystyle p}$ 个变量, 假设 ${\displaystyle x_{p+1},\cdots ,x_m}$ 这些次重要的变量也共同影响了 ${\displaystyle Y}$, 则有 $$Y=f(x_1,\cdots ,x_p)+g(x_{p+1},\cdots ,x_m)=f(x_1,\cdots ,x_p)+\epsilon .$$ 所以 ${\displaystyle \epsilon }$ 可以理解为方程近似.

统计理论中, 我们不追究误差来自随机噪音或是次要特征, 而只关心它的分布特征.
在实际的 (1.1) 的统计推断中, 假设我们进行了 ${\displaystyle n>p}$ 次实验; 第 ${\displaystyle \alpha }$ 次实验自变量为 ${\displaystyle x_{\alpha }=(x_{\alpha 1},\cdots ,x_{\alpha p}{)}^{\mathrm{T}}}$ (称 ${\displaystyle x_{\alpha }}$ 为一个试验点), 相应的观察值为 ${\displaystyle y_{\alpha }}$, 也即 $$y_{\alpha }=\sum _{j=1}^p{x}_{\alpha j}{\beta }_j+{\epsilon }_{\alpha },\mathbb{E}{\epsilon }_{\alpha }=0.$$ 记 ${\displaystyle y=(y_1,\cdots ,y_n{)}^{\mathrm{T}},X=(x_{\alpha j})}$, ${\displaystyle \beta =({\beta }_1,\cdots ,{\beta }_p{)}^{\mathrm{T}}}$, ${\displaystyle \epsilon =({\epsilon }_1,\cdots ,{\epsilon }_n{)}^{\mathrm{T}}}$, 则上式简写为 $$\begin{array}{}\text{(1.2)}& y=X\beta +\epsilon ,\mathbb{E}\epsilon =\overrightarrow{0}.\end{array}$$
这里 ${\displaystyle X}$ 称为 设计矩阵, ${\displaystyle y}$ 称为观察值向量. (1.2) 会成为以后的出发点.

2 分类

根据自变量因子是连续/离散数值, 我们把它们分为数量因子和属性因子两种. 基于此:

• 如果都是数量因子, 称为回归分析模型;

• 如果都是属性因子, 称为方差分析模型;

• 如果两者都有, 称为协方差分析模型.

另一种分类方法是把 ${\displaystyle {\beta }_j}$ 看作因子 ${\displaystyle j}$ 的显著程度, 它可能是随机的也可能是固定的.

• 如果都是固定的, 称为固定效应模型;
• 如果都是随机的不可观察的, 称为随机效应模型;
• 如果两者都有, 称为混合效应模型.